Это не наречие, а слово категории состояния. Написание зависит от значения. Если перед не страшно можно подставить слова вовсе, отнюдь, то следует писать раздельно. Если можно подставить очень, достаточно, то следует писать слитно.
Возможны оба варианта. Раздельное написание подчеркивает отрицание.
Это сказуемое. Верно: В этих украшениях не страшно вступать в осень, потому что они...
В роли сказуемого пишется раздельно: не страшно.